|
|
Classifier of astrophysics data
Rylko, Vojtěch ; Vrábelová, Pavla (referee) ; Zendulka, Jaroslav (advisor)
Cílem této práce je implementace algoritmu pro dolování z dat pro použítí v astrofyzice. V práci jsou představeny základní pojmy a principy dolování z dat. Zejména jeho obecná definice, rozlišení mezi klasifikací a regresí a vyhodnocování přesnosti modelu. Text se zabývá převážně učením s učitelem. Blíže představeny jsou algoritmy založené na rozhodovacích stromech. Je definován rozhodovací strom jako model a uveden obecný algoritmus pro tvorbu rozhodovacích stromů z dat. Jsou diskutována různá kritéria dělení v uzlech (zejména založená na etropii), kritéria pro ukončení růstu a ořezávání stromů. Pro ilustraci jsou uvedeny vybrané algoritmy - ID3, CART, RainForest a BOAT. Na dříve uvedených informacích je založena kapitola o souborech rozhodovacích stromů. Zabývá se základními způsoby jejich kombinací (bagging a arcing) . Detailněji je popsán obecný algoritmus náhodných lesů a RandomForest TM jako příklad jeho praktické realizace. Na základě srovnání algoritmů a provedených experimentů v literatuře jsou k implementaci vybrány náhodné lesy. Implementovaný algoritmus je detailněji popsán - k dělení uzlů používá Gini entropie a průměrnou kvadratickou chybu, ignoruje chybějící hodnoty a pro kombinaci výstupů jednotlivých stromů používá většinové hlasování / průměr. Jako formát vstupních a výstupních dat je zvolena podmnožina ARFF formátu. Architektura implementace je ilustrována UML diagramy s popisujícím komentářem. Jednotlivé aspekty implementace jsou stručně popsány - implementačním jazykem je C++11, je využívána knihovna Boost (zejména chytré ukazatele, serializace, nastavení parametrů a konfigurační soubory, ...) společně s dalšími volně dostupnými knihovnami (google-glog pro logování, googletest pro jednotkové testování, ...). Grafického výstupu je dosaženo tiskem modelu náhodného lesu do XML souboru a jeho transformací skriptem do jazyka DOT. Pro oveření validity a vlastností implementace a jejího srovnání s jinými implementacemi náhodných stromů (Waffles, RF-ACE a R - balíček randomForest) jsou navrženy, popsány a provedeny exprimenty: klasifikace astronomických těles na základě barevných indexů, regrese rudého posuvu na základě barevných indexů, osm klasifikačních a pět regresních experimentů na datech z UCI repository. Průběh experimentů je plně automatizován skripty (Bash, Python a R) a je měřena doba učení modelů. Z výsledků experimentů vyplývá, že autorova implementace si vedla výborně při klasifikaci a průměrně při regresi; z časového hlediska měla problémy při datech s mnoha instancemi. Výsledkem práce je zdokumentovaná, snadno rozšiřitelná implementace náhodných lesů v jazyce C++ s grafickým znázorněním modelu, mnoha možnostmi nastavení a experimentálně ověřenou funkčností. Diskuze o dalším možném pokračování projektu se zabývá zejména odstraněním problemů s časovou náročností a přídáním nových funkcionalit.
|
|
|
Statistical models for prediction of project duration
Oberta, Dušan ; Žák, Libor (referee) ; Hübnerová, Zuzana (advisor)
Cieľom tejto bakalárskej práce je odvodiť štatistické modely vhodné pre analýzu dát a aplikovať ich na analýzu reálnych dát týkajúcich sa časovej náročnosti projektov v závislosti na charakteristikách projektov. V úvodnej kapitole sú študované lineárne regresné modely založené na metóde najmenších štvorcov, vrátane ich vlastností a predikčných intervalov. Nasleduje kapitola zaoberajúca sa problematikou zobecnených lineárnych modelov založených na metóde maximálnej vierohodnosti, ich vlastností a zostavením asymptotických konfidenčných intervalov pre stredné hodnoty. Ďalšia kapitola sa zaoberá problematikou regresných stromov, kde sú znova ukázané metóda najmenších štvrocov a metóda maximálnej vierohodnosti. Boli ukázané základné princípy orezávania regresných stromov a odvodenie konfidenčných intervalov pre stredné hodnoty. Metóda maximálnej vierohodnosti pre regresné stromy a odvodenie konfidenčných intervalov boli z podstatnej časti vlastným odvodením autora. Posledným študovaným modelom sú náhodné lesy, vrátane ich základných vlastností a konfidenčných intervalov pre stredné hodnoty. V týchto kapitolách boli taktiež ukázané metódy posúdenia kvality modelu, výberu optimálneho podmodelu, poprípade určenia optimálnych hodnôt rôznych parametrov. Na záver sú dané modely a algoritmy implementované v jazyku Python a aplikované na reálne dáta.
|
|
|
Spatial Analysis of Czech Parliamentary Election: Comparison of Spatial Econometrics and Machine Learning
Černý, Jakub ; Šťastná, Lenka (advisor) ; Gregor, Martin (referee)
This thesis analyses the results of the Czech Parliamentary election in 2021 and attempts to explain the voting support of major political subjects by using aggregate data from Czech municipalities. Since the data evince spatial autocorrelation, it is necessary to specify a suitable spatial model. The thesis provides both empirical and economic evidence for the Spatial Durbin Error Model, which enables distinguishing the direct and indirect effects of particular independent variables and accounts for the spatial dependence of error terms. This method shows that variables describing the socio-economic characteristics of inhabitants, such as the share of entrepreneurs or people with university education, play the most significant role in explaining voting results and evince mostly the direct effects. On the contrary, variables describing municipalities, such as public spending or infrastructure, are more likely to impact the election result indirectly. Subsequently, the analysis is replicated using two tree-based machine learning algorithms and all models are evaluated based on their ability to predict the election results from unseen data. Even though machine learning methods estimate only relative variable importance instead of standard coefficients, this approach represents a perspective...
|
|
|
Modern regression methods in data mining
Kopal, Vojtěch ; Holeňa, Martin (advisor) ; Gemrot, Jakub (referee)
The thesis compares several non-linear regression methods on synthetic data sets gen- erated using standard benchmarks for a continuous black-box optimization. For that com- parison, we have chosen the following regression methods: radial basis function networks, Gaussian processes, support vector regression and random forests. We have also included polynomial regression which we use to explain the basic principles of regression. The com- parison of these methods is discussed in the context of black-box optimization problems where the selected methods can be applied as surrogate models. The methods are evalu- ated based on their mean-squared error and on the Kendall's rank correlation coefficient between the ordering of function values according to the model and according to the function used to generate the data. 1
|
|
|
Comparison of statistical methods for the scoring models development
Mrázková, Adéla ; Vitali, Sebastiano (advisor) ; Kopa, Miloš (referee)
The aim of this thesis is to introduce and summarize the process of scoring model development in general and then basic statistical approaches used to resolve this problem, which are in particular logistic regression, neural networks and decision trees (random forests). Application of described methods on a real dataset provided by PROFI CREDIT Czech, a.s. follows, including discussion of some implementation issues and their resolution. Obtained results are discussed and compared.
|
|
|
Valuation of real estates using statistical methods
Funiok, Ondřej ; Pecáková, Iva (advisor) ; Řezanková, Hana (referee)
The thesis deals with the valuation of real estates in the Czech Republic using statistical methods. The work focuses on a complex task based on data from an advertising web portal. The aim of the thesis is to create a prototype of the statistical predication model of the residential properties valuation in Prague and to further evaluate the dissemination of its possibilities. The structure of the work is conceived according to the CRISP-DM methodology. On the pre-processed data are tested the methods regression trees and random forests, which are used to predict the price of real estate.
|
|
|
Parallel Processing of Huge Astronomical Data
Haas, František ; Zavoral, Filip (advisor) ; Kruliš, Martin (referee)
This master thesis focuses on the Random Forests algorithm analysis and implementation. The Random Forests is a machine learning algorithm targeting data classification. The goal of the thesis is an implementation of the Random Forests algorithm using techniques and technologies of parallel programming for CPU and GPGPU and also a reference serial implementation for CPU. A comparison and evaluation of functional and performance attributes of these implementations will be performed. For the comparison of these implementations various data sets will be used but an emphasis will be given to real world data obtained from astronomical observations of stellar spectra. Usefulness of these implementations for stellar spectra classification from the functional and performance view will be performed. Powered by TCPDF (www.tcpdf.org)
|
|
|
Artificial Intelligence Approach to Credit Risk
Říha, Jan ; Baruník, Jozef (advisor) ; Vošvrda, Miloslav (referee)
This thesis focuses on application of artificial intelligence techniques in credit risk management. Moreover, these modern tools are compared with the current industry standard - Logistic Regression. We introduce the theory underlying Neural Networks, Support Vector Machines, Random Forests and Logistic Regression. In addition, we present methodology for statistical and business evaluation and comparison of the aforementioned models. We find that models based on Neural Networks approach (specifically Multi-Layer Perceptron and Radial Basis Function Network) are outperforming the Logistic Regression in the standard statistical metrics and in the business metrics as well. The performance of the Random Forest and Support Vector Machines is not satisfactory and these models do not prove to be superior to Logistic Regression in our application.
|
|
|
Modern regression methods in data mining
Kopal, Vojtěch ; Holeňa, Martin (advisor) ; Gemrot, Jakub (referee)
The thesis compares several non-linear regression methods on synthetic data sets gen- erated using standard benchmarks for a continuous black-box optimization. For that com- parison, we have chosen the following regression methods: radial basis function networks, Gaussian processes, support vector regression and random forests. We have also included polynomial regression which we use to explain the basic principles of regression. The com- parison of these methods is discussed in the context of black-box optimization problems where the selected methods can be applied as surrogate models. The methods are evalu- ated based on their mean-squared error and on the Kendall's rank correlation coefficient between the ordering of function values according to the model and according to the function used to generate the data. 1
|
|
|
Construction of classifiers suitable for segmentation of clients
Hricová, Jana ; Antoch, Jaromír (advisor) ; Zvára, Karel (referee)
Title: Construction of classifiers suitable for segmentation of clients Author: Bc. Jana Hricová Department: Department of Probability and Mathematical Statistics Supervisor: prof. RNDr. Jaromír Antoch, CSc., Department of Probability and Mathematical Statistics Abstract: The master thesis discusses methods that are a part of the data analy- sis, called classification. In the thesis are presented classification methods used to construct tree like classifiers suitable for customer segmentation. Core methodo- logy that is discussed in our thesis is CART (Classification and Regression Trees) and then methodologies around ensemble models that use historical data to cons- truct classification and regression forests, namely Bagging, Boosting, Arcing and Random Forest. Here described methods were applied to real data from the field of customer segmentation and also to simulated data, both processed with RStudio software. Keywords: classification, tree like classifiers, random forests
|
guest ::
